#языковое моделирование

Исследователи Meta AI разработали AU-Net — масштабируемую байтовую авторегрессионную модель U-Net, которая превосходит традиционные токен-базированные трансформеры по языковым задачам и обеспечивает более быструю и эффективную генерацию текста.

Исследователи из Mila и Университета Монреаля представили FoX — новую версию трансформера с обучаемыми forget gate, которая улучшает качество и эффективность моделирования длинных контекстов без потерь в скорости.